home *** CD-ROM | disk | FTP | other *** search
/ CD ROM Paradise Collection 4 / CD ROM Paradise Collection 4 1995 Nov.iso / science / neumap3.zip / NUMP.ZP / DATAM.HLP < prev    next >
Text File  |  1993-01-04  |  5KB  |  100 lines
  1. Outline
  2.  
  3. 1. Files Needed or Produced by Software
  4. 2. Training and Testing Data 
  5.  a. Standard Format
  6.  b. Data Files Included With This Package
  7. 3. File and Neural Net Limitations
  8.  
  9.  
  10. 1. Files Needed or Produced by Software
  11.  
  12. a. MLP and functional link neural networks typically have three types 
  13.    of files associated with them. These three types are: 
  14.  (1) The network structure file. For the MLP, this file specifies the 
  15.      number of network layers, the number of artificial neurons 
  16.      (called units) in each layer, and the number of the first layer 
  17.      which the third and fourth (if there is one) layers connect to.
  18.      For the functional link net, this file contains the network degree P
  19.      (usually an integer between 1 and 5), the number of network inputs N
  20.      and the number of outputs, and the dimension of the multinomial vector, 
  21.      which is L = (N+P)!/(N!P!).
  22.  
  23.  (2) The weight file, which gives the gains or coefficients along 
  24.      paths connecting the various units.
  25.  
  26.  (3) The training or testing data file, which gives example inputs 
  27.      and outputs for network learning, or for testing after learning.
  28.  
  29. b. The network structure files have the extension "top". You can create 
  30.    your own network structure files within the backpropagation, fast 
  31.    training and functional link programs, if you want. Consider the MLP 
  32.    network structure file, GLS.top shown below. 
  33.  
  34.            4
  35.            4          20          15           1
  36.            1           1           1
  37.  
  38.   It has 4 layers. The first layer has 4 inputs, which means that 
  39.   each training or testing pattern has 4 numbers. It has 20 units in 
  40.   the first hidden layer, where "hidden" means that it is not an input 
  41.   or output layer. It has 15 units in the second hidden layer. 
  42.   The output layer has 1 unit. The last line of "1s" means that 
  43.   layers 2, 3, and 4 connect up with layer 1, layers 1 and 2, and 
  44.   layers 1, 2, and 3 respectively. This network is "fully connected",
  45.   meaning that each layer connects with all previous layers. Fully 
  46.   connected networks are more powerful than and train faster than 
  47.   non fully connected networks. The fully connected networks are
  48.   almost always smaller than non fully connected networks which 
  49.   perform the same operation.
  50.  
  51. 2. Training and Testing Data
  52.  a. Standard Format
  53.    All data files are in standard form. Standard form means that
  54.    the file is formatted, and that each pattern or vector has inputs
  55.    on the left and desired outputs on the right. You can type 
  56.    out the files to examine them, and you can use these 
  57.    files with other neural net software. For example, consider the 
  58.    training data file, Max, part of which is shown below.
  59.  
  60.      .5844768      .5359043      .6196933
  61.      .6196933
  62.  
  63.      .1291312      .4173794      .3405759
  64.      .4173794
  65.  
  66.      .0472856      .5994965      .5638752
  67.      .5994965
  68.  
  69.    Each training pattern consists of three random numbers. The fourth 
  70.    number, which is the desired network output, is the maximum of the 
  71.    three inputs. 
  72.  
  73.  b. Data Files Included With This Package
  74.  
  75.     The MAX data file, which corresponds to calculating the maximum
  76.        of 3 random numbers, has 300 patterns, each of which has 3 inputs
  77.        and 1 desired output.
  78.     The GLS data file has 300 training patterns, with 4 inputs and 1
  79.        desired output. Each pattern contains samples from times T,
  80.        T-6, T-12 and T-18, of the chaotic time series created 
  81.        by the Mackey-Glass delay-difference equation, (a = 0.2,b = 0.1,
  82.        tau = 17), as Inputs. The sample at time T+6 is the desired output.
  83.   
  84.        (Ref. Lapedes, A. & Farber, R.1987 Nonlinear Signal processing using
  85.        Neural Networks : Prediction & System modelling,  Tech. Rep. 
  86.        LA-UR-87-2662, Los Alamos National Laboratory, Los Alamos, NM.)
  87.     The twod.tra data file has 1,768 patterns with 8 inputs and 7 desired 
  88.        outputs. The data comes from a remote sensing problem.
  89.  
  90. 3. File and Neural Net Limitations
  91.  There is no limitation on data file size.
  92.  MLP neural nets are limited to 40 or fewer units in each layer,
  93.    including the input layer, one or two hidden layers, and the output
  94.    layer.
  95.  Functional link networks are limited to 40 inputs, 20 outputs, and
  96.    5th degree.
  97.  Conventional clustering and self-organizing map clustering are limited 
  98.    to 32 elements per vector and 2,048 clusters. There is no limit on 
  99.    the number of input patterns.
  100.